Методы анализа экспертных оценок

Применение различных М. а. э. о. дает возможность как получения обобщенных данных, позволяющих определить групповое мнение экспертов, так и получения новой информации, содержащейся в латентной форме в экспертных оценках. Выбор конкретного метода анализа зависит от выбора метода измерения экспертных оценок.

Экспертное оценивание используется в решении плохо формализуемых проблем, которые условно можно разделить на два класса. К первому относятся проблемы, обеспеченные достаточным количеством информации. В оценивании проблем первого класса эксперт рассматривается как хороший измеритель, а групповое решение экспертов близко к истинному решению проблемы. Для анализа экспертных оценок проблем первого класса применяется математическая статистика, предоставляющая широкий набор методов. В большинстве прикладных исследований проблем первого класса экспертные оценки используются для выделения существенных факторов и их ранжирования либо для ранжирования самих объектов оценивания.

Для анализа таких оценок используют методы ранговой корреляции, позволяющие определить степень согласованности мнений экспертов и методы построения обобщенной ранжировки, дающие возможность либо прямым путем формировать матрицу обобщенных ранжировок, либо путем перехода от матрицы ранжировок к матрице парных сравнений. Использование парных и множественных сравнений дает возможность применения техники проверки согласованности в духе дисперсионного анализа, описанного Дэвидом, и получения результирующего предпочтения в шкале порядка. Балльное оценивание имеет естественным завершением возможность получения различных вариантов средних экспертных оценок. В оценивании проблем второго класса экспертные оценки получаем либо в вербальной форме, либо в виде вероятностных оценок. В этом случае возникает необходимость предварительного анализа неоднородности экспертной группы, поскольку средние, центральные оценки могут утратить содержательный смысл, оказаться хуже индивидуальных или групповых оценок. Анализируется распределение экспертов в многомерном пространстве признаков. Каждый эксперт в этом пространстве может быть представлен точкой с координатами, соответствующими его оценкам признаков. Вербальные экспертные оценки исследуются традиционными методами анализа документов. Вероятностные экспертные оценки могут быть получены и обработаны методом анализа на проблемных сетях, позволяющего говорить на одном языке о проблемах как количественных, так и качественных, как хорошо, так и плохо структурируемых. Метод анализа на проблемных сетях дает возможность включения в исследование формальных моделей, что расширяет пути применения компьютерных средств. Использование этого средства анализа позволяет осуществить переход от сгенерированных условных экспертных оценок к безусловным.

В ситуации формирования экспертных оценок при наличии априорной и апостериорной информации используется байесовский подход, позволяющий определить вероятности при обратном анализе, когда рассчитывается вероятность определенного исхода для раннего из двух зависимых событий при данном исходе второго события, что особенно важно в социологических исследованиях, когда мы диагностируем различные социальные изменения, не имея возможности точного указания их причин.